Cole dành cả cuộc đời để chiến đầu với chủ nghĩa phân biệt chủng tộc.

Năm 1948, Cole mua một ngôi nhà trong khu phố của người da trắng Park Hancock ở Los Angeles. Các thành viên đảng Ku Klux Klan, vẫn còn hoạt động ở Los Angeles vào những năm 1950, phản ứng bằng cách đặt một cây thánh giá đang cháy trên bãi cỏ phía trước nhà ông. Những người hàng xóm xung quanh đề nghị ông chuyển đi nhưng ông từ chối.

Năm 1956, trong một buổi biểu diễn ở Birmingham, Alabama, ông bị ba thành viên của Hội đồng công dân da trắng Bắc Alabama tấn công ngay trên sân khấu với ý định bắt cóc ông. Mặc dù lực lượng bảo vệ pháp luật của địa phương đã nhanh chóng đẩy lui những kẻ chiếm sân khấu, Cole tiếp tục bị tấn công từ phía sau và bị thương ở lưng. Ông đã bỏ dở buổi biểu diễn và từ đó không bao giờ trình diễn ở miền Nam nữa. Những kẻ tấn công sau đó đã bị đưa ra xét xử và bị kết án vì hành vi của mình.

Năm 1956, ông ký hợp đồng biểu diễn ở Cuba và muốn nghỉ tại khách sạn Nacional de Cuba, La Habana. Nhưng ông không được phép bởi vì khách sạn cấm người da màu. Tuy vậy, Cole vẫn thực hiện hợp đồng biểu diễn và những buổi hoà nhạc thu được thành công lớn. Năm sau, ông trở lại biểu diễn ở La Habana, hát rất nhiều bài hát tiếng Tây Ban Nha. Ngày nay, khách sạn Nacional ở La Habana vẫn dành một góc lưu niệm có bức tượng bán thân và chiếc máy chơi nhạc tự động phát các bài hát của ông.